the dirty end of the stick

[ðə ˈdə:ti end ɔv ðə stik]
(非正式,主英)(任务或形势)困难(或讨厌)的部分